Ella Fitzgerald sinh ra tại Newport News, Virginia. Bà là kết quả của cuộc hôn nhân không hôn thú giữa William và Temperance "Tempie" Fitzgerald.[1] Cha mẹ bà chia tay ngay sau khi bà ra đời và mẹ bà chuyển tới Yonkers, New York sống với bạn trai là Joseph Da Silva. Em gái cùng mẹ khác cha của bà, Frances Da Silva, sinh năm 1923.

Năm 1932, mẹ bà chết vì một cơn đau tim. Vì cú sốc này, bà học hành sút hẳn và thường xuyên bỏ học. Bà bị cha dượng lạm dụng và được một người dì nhận nuôi.[2] Bà từng giữ chân cảnh giới cho một nhà chứa và chạy việc vặt cho những trùm số đề có liên quan đến mafia.[3] Khi nhà chức trách bắt được bà, đầu tiên họ gửi bà tới trại trẻ mồ côi ở Riverdale, Bronx. Sau đó, vì trại trẻ mồ côi quá tải, bà đã được chuyển đến trường giáo dưỡng dành cho nữ ở Hudson, New York. Cuối cùng, bà bỏ trốn và sống lang thang một thời gian.